第九章 数据分析

机器人数据分析模块从对话类型、机器人、用户、业务等多维度统计了通过⌈吾来⌋搭建的对话机器人产生的交互数据，为机器人优化、业务的开展提供了数据决策基础。

功能模块

[数据概览]：统计机器人交互的会话数据。

[知识点使用情况]：通过每日数据和每小时数据来统计问答对话的召回率与准确率

[知识点满意度]：统计用户对知识点的满意情况与满意度上下文。

[关键词使用情况]：按天统计每个关键词规则的触发次数与趋势。

[任务对话分析]：统计每日、每小时任务机器人的意图触发次数与对话单元触发情况，还可以自定义转化率路径进行转化率分享。

[任务信息收集]：统计任务对话中，“收集单元”收集的信息。

[相似说法学习统计]：统计效果优化中，相似说法学习模块的处理与操作统计。

[用户分析]：查看所有机器人交互过的用户数据，可以对用户的信息进行管理，维护用户属性。

[会话日志]：查看和导出所有机器人和用户交互产生的消息数据。

9.1数据概览

假设你的机器人已经上线并与用户发生真实的对话交互，你一定期望看每天你的机器人与用户发生的交互数据情况，用于帮助你了解机器人的运行情况。

系统的数据概览页面提供用户与机器人交互的关键描述指标，在这个页面你可以查看：

• 会话交互指标：围绕用户与机器人进行对话交互相关指标
• 人工服务指标：围绕用户与吾来IM（即时沟通）交互相关指标
• 会话趋势：会话指标的时间趋势图
• 用户趋势：活跃用户与新增用户量

在查看具体的对话指标前，你需要首先了解“会话”和“对话轮次”的概念。

会话与对话轮次

对话，即用户与机器人的一问一答，我们将其称为“一个对话轮次”。

会话，即用户与机器人一段完整上下文关系的对话记录。

通常情况下，一个会话由多个对话轮次组成。

会话结束，即自最后一轮次对话15分总内用户仍未发起下一轮对话。

举个例子：

对话示例

用户：明天天气怎么样呢

机器人：请问你想查询哪个城市的天气呢？

用户：北京

机器人：北京明天天气晴，25度。

（结束，用户不再提问，机器人不再回复）

上述从用户发起询问天气至机器人回答用户的过程，为一个完整会话。这个关于查询天气的会话，由2个对话轮次构成。

会话与对话轮次是衡量一个机器人线上情况的重要指标，通常情况下一个机器人上述两个指标越高越好。

指标与分析

会话交互指标

会话交互指标，提供用户与机器人会话量多少的指标，默认展示昨日的会话情况：

• 对话轮次

  • 用户向机器人发送一条消息如文本或图片（不包含事件消息），则对话轮次+1。通常情况下，一个会话由多个对话轮次构成。

• 会话

  • 用户向机器人发起一次消息（含事件消息类型，如进入事件或点击菜单）计为一次会话的开始，至最后一条消息15分钟内，若用户未继续发送消息计为一次会话的结束。

• 总会话量

  • 会话的总次数。

• 有效会话量

  • 会话中至少包含一条用户发送的，除了事件触发消息以外的其他消息，如文本、语音等，为一次有效会话。该指标用来描述用户与机器人会话量。

• 事件交互轮次

  • 吾来收集到用户行为的一次事件消息，则事件交互轮次+1。比如进入事件、微信公众号的菜单点击事件。

人工服务指标

若你使用平台内部的IM（即时沟通）功能，则可以查看客服人员服务情况的指标，默认展示昨日的服务数据。

• 服务员工发出消息数

  • 平台内部的IM的客服人员，发送给用户的消息数总量

• 服务员工在线时长

  • 平台内部的IM的客服人员登陆系统的时长

• 服务员工接待用户数

  • 平台内部的IM的客服人员，接入用户的数量

会话趋势

会话趋势提供与会话相关的“总会话量”、“有效会话量”、“对话轮次”、“事件交互轮次”与“机器人发出消息数”在一定时间段内的趋势图。

每个趋势分析图都可以按照时间、渠道维度进行筛选，同时支持导出。

机器人发出消息数，是机器人发给用户的消息数量。由于此数量受到回复答案数量的影响较大，且仅体现机器人回复的数量，所以未列入至会话核心交互指标中。

用户趋势

用户趋势提供活跃用户、新增用户两个指标及其趋势分析图，同时支持按照时间、渠道进行筛选。

• 活跃用户

  • 用户与机器人发生交互作为一个活跃用户，即主动向机器人发送消息或发生行为事件（如进入事件）的用户。

• 新增用户

  • 用户与机器人发生交互，同时该用户是新用户。

9.2问答对话分析

9.2.1知识点使用情况

假设你的机器人已经上线并与用户发生真实的对话交互。除机器人与用户整体的会话量外，你还期望观察问答知识库的线上使用情况。

例如每天问答收到用户多少条提问，给出回答（召回）的有多少条，哪些问题是用户提问最多的等等。

系统提供的问答对话分析-知识点使用情况，可以观察到围绕知识库的线上情况，你可以看到：

• 问答关键指标：反映线上用户对问答知识库的提问量及召回情况。
• 历史数据：问答关键指标在一段时间内的趋势。
• 知识库召回分析：知识库被用户提问最多的问题和不同分类的热度。
• 知识库召回统计明细：知识库中所有知识点的召回明细。

在了解各个数据指标前，需要你了解以下概念

收到消息、召回知识点、召回率

问答关键指标反映线上用户对问答知识库的提问量及召回情况，展示昨日数据。

• 收到消息数

  • 问答收到用户提问的消息数量。

• 召回知识点次数

  • 问答收到用户提问的消息后，成功召回一个知识点次数+1。（不包含无意图知识点、进入事件召回欢迎语知识点）

• 触发无意图次数

  • 问答收到用户提问的消息后，识别触发无意图知识点的次数。

• 召回率

  • 召回知识点次数/（收到消息数-触发无意图次数）。

收到消息数中不含图片等格式消息。

历史数据

历史数据提供对上述问答指标中“收到消息数、召回知识点次数、召回率”在一段时间内的趋势分析，可以按照时间筛选，同时支持数据导出。

导出时，系统会根据你当前选择的时间范围进行导出无需再次选择导出的时间范围。

热门知识点

热门知识点展示在指定时间段内被用户问到的Top10问题，以此来帮助你判断哪些问题是用户所关注的，来针对性优化这些热门的知识点。

热门知识点默认展示整个知识库，如果你需要单独查看某个分类下的Top问题，可以在“分类”中选择某一个固定分类。

知识库分类召回占比

如果你期望观察整个问答知识库，哪些分类是更多被用户所关注的，或是不同分类被用户提问的比例各占多少，可以查看“知识库分类召回比例”。

知识库分类召回比例会显示在指定时间段内，每个分类召回次数占总召回数的比例，默认展示一级分类间的占比。

知识库中的分类可能有多个层级。如果你想查看某个一级分类下，其二级分类或更次级分类的召回比例，可以直接点击该一级分类。

1 默认页面：展示一级分类间的召回占比，点击其中某个分类。

2 点击后进入到其包含的二级分类间的召回比例图。

知识点召回统计明细

知识点召回统计明细展示指定时间段内，所有知识点的召回详情（默认按照召回次数从高至低排序），支持时间筛选和导出。

统计明细的说明如下：

• 知识点标准问题

  • 该知识点的标注问题

• 召回次数

  • 指定时间段内，该知识点的召回次数

• 召回次数占比

  • 指定时间段内，该知识点的召回次数占总召回数的比例

• 环比变化

  • 该知识点在指定时间段内，其召回次数相当于上个周期时间段的变化

• 环比变化百分比

  • （当前时间段召回次数-上周期召回次数/上周期召回次数）X100%

• 操作

  • 查看趋势图：可查看该知识点，在指定时间段内的趋势图

  • 查看知识点：可直接进入该知识点详情页面

9.2.2关键词使用情况

假设你的机器人已经上线并与用户发生真实的对话交互。除机器人与用户整体的会话量外，你还期望观察关键词规则的线上使用情况，比如配置的关键词规则每天都被触发多少次。

系统提供的问答对话分析-关键词使用情况，可以查看每个关键词的触发次数

查询关键词总体使用情况

进入关键词使用情况页面，展示所有配置的关键词规则，在指定时间段内的被触发次数，默认按照触发次数从高至低排序。

查询单个关键词的触发趋势

如果你期望看某一个关键词规则的趋势图，可以点击“查看统计图”来观察在指定时间段内，该关键词规则的数据趋势情况。

9.3任务对话分析

假设你的机器人已经上线并与用户发生真实的对话交互。除机器人与用户整体的会话量外，你还期望观察任务流程的线上使用情况。例如意图被触发多少次，意图中的单元被触发多少次。

为了让你更好观察任务流程的线上使用情况，系统提供的任务对话分析-意图使用情况，可以观察意图、单元的线上触发情况数据及单元转化率。

9.3.1意图使用情况

意图触发数

• 意图触发数：该意图被触发的次数，用户query与任务流程内跳转均被算作统计范围内

1 意图触发数可以查看某个机器人在指定时间内，所有意图的触发次数及趋势图。你可以按照需要时间、机器人以及渠道进行筛选，同时可以将数据导出。

2 可以切换至“小时报”，视图中会显示意图在当日每个小时的触发次数。

用户主动发送消息触发意图，或在任务流程中的跳转单元至该意图，均算作被触发，统计次数+1.

对话单元触发

• 对话单元触发数：任务流程中每经过一个对话单元，该单元的触发数会+1

1 对话单元触发情况，默认按照触发次数从多至少排序。

2 可以切换至“小时报”，视图中会显示意图在当日每个小时的触发次数。

9.3.2任务单元转化率分析

衡量任务流程的一个重要指标，是用户从进入任务开始有多少走完整个流程。如果没有走完，对你来说知道大部分用户是在哪一步流失非常重要，这有助于你对性优化任务流程。

转化率分析功能，可以让你选择将任务流程中的特定单元挑选出来，形成一个转化漏斗，来帮助你查看一个任务流程，在不同单元节点的转化和流失情况。

1 选择一个任务中的意图单元，作为漏斗的起始单元。比如这里选择“语音导航流程-记录任务名称”单元；选择后续流程中，下一个“门岗放行-记录任务名称”作为漏斗中下一个单元。

2 点击“生成转化率分析图标”，会自动生成，按照配置顺序的单元触发次数漏斗。

3 将鼠标转移至第二个单元上，即可查看第一个单元，至该单元的转化率为5.63%。

假设你的机器人已经上线并与用户发生真实的对话交互，数据概览中的指标只能从宏观上观察到会话量多少。

但如果你想观察用户和机器人到底是如何对话的，甚至想从这个对话过程中来找到机器人的不足并优化，就必须看真实的会话日志。

系统中的会话日志，提供用户与机器人对话的详细聊天记录，你可以直接在在界面中查看或导出。

9.4相似说法学习统计

运营人员可以筛选操作时间和操作人， 数据统计统计了所选时间范围和操作人，在相似说法学习页面中操作的用户问题数量：

• 人工处理：做了“新建知识点、合并到知识点、新增意图、合并到意图和删除”处理的。
• 平台过滤：点击刷新，因为超过设定阈值而被系统自动过滤的。
• 新增知识点：被新建为知识点的。
• 合并到知识点：被合并为知识点相似问的。
• 新增意图：被新建意图并添加到触发器的。
• 合并到意图：被合并到已有意图触发器的。
• 手动删除：被删除的。

9.5会话日志

会话日志分为“会话视图”与“消息视图”：

• 会话视图：会话视图中的每一行为一个会话，详情中包含该会话的完整对话记录。
• 消息视图：消息视图中的每一行为一条消息，可能是用户或机器人发送，详情中包含该条消息所属会话的完整记录。

提示： 会话视图中消息，约需延迟15分钟才可见。因为一个会话是从用户最后一次发消息后15分钟结束。

会话视图

如果要查看用户与机器人具有上下文的完整会话，可以在会话视图中查看。会话视图中的每一行为一个会话。·

会话视图中的列表项说明如下：

• SessionID:该会话在吾来中的唯一标识ID
• 会话用户：发起该会话的用户
• 会话时间：会话发生的起始时间和结束时间
• 对话轮次：会话中的对话轮次数（用户主动发送一条消息，计为一个对话轮次）
• 渠道：该会话发生的渠道
• 查看：可查看该会话完整的对话聊天记录

消息视图

消息视图中展示每一行，是用户或机器人发送的消息，排序只按照消息发生的时间，越晚发生的排在越前面。

消息视图中的列表项说明如下：

• MessageID：该消息在吾来中的唯一标识ID
• 发送人：该消息的发送人，可能是某个用户或机器人
• 消息内容：该消息包含的具体内容
• 消息时间：该消息发送的时间
• 渠道：该消息发送的渠道
• 查看：展示该用户截止到目前为止的所有聊天记录（同时定位到该条消息）。

导出会话日志明细

会话日志中的记录可以被导出下载，导出后的列表明细说明如下：

• 用户ID：该用户在吾来中唯一标识ID
• 用户名：该用户的名称
• 临时属性：该用户在与机器人对话时携带的属性
• SessionID：该条消息所属的SessionID
• MessageID:该条消息的唯一标识ID
• 用户消息：用户发送给机器人的消息内容
• 回复消息：机器人回复给用户的消息内容（若发送多条，则以“|”隔开）
• 用户消息时间：用户发送消息的时间
• 回复消息时间：机器人回复消息的时间
• 置信度：该条用户消息在吾来处理后的置信度值
• 机器人类型：该条消息触发的机器人类型（如问答、任务）
• 机器人详情：若是任务则显示该消息触发的意图及单元；若是问答则显示召回知识点；若是关键词规则则显示触发的关键词
• 所属分类：若召回问答知识点，则显示该知识点所属的分类
• 渠道：该条消息发生的渠道
• 员工姓名：若是机器人回复给用户则显示“AI”；若是IM中的客服回复给用户则显示该员工的姓名

导出会话日志的详细操作步骤如下：

1 点击右上角“导出消息记录”，选择导出的时间日期范围。

2 导出事件交互，可以选择将用户行为事件导出。由于用户的行为事件一般情况下机器人仅回复欢迎语或不回复，所以默认未勾选。

3 点击确认导出，等待一段时间后会提示导出成功，点击下载该文件会在浏览器中执行下载。

9.6用户反馈

9.6.1知识点满意度

在机器人已经上线并开始回答用户的提问后，你可能会期望用户为机器人的回答做出评价，以此来优化机器人。

系统提供的“知识点满意度”功能，可以让用户对机器人的回复内容做出评价，评价结果会统一汇总至列表，可供查询。

满意度是用户对机器人回复答案的评价。

在系统中满意度分为“满意”、“内容不满意”、“回答不匹配”，其代表的含义分别是：

• 满意：机器人回答正确，且回复内容解决了用户的问题
• 内容不满意：机器人回答正确，但回复答案内容本身，可能并没有完全解决用户问题
• 回答不匹配：机器人匹配错误知识点，答非所问

开启“问答满意度开关”

首先需要在渠道设置中开启“问答满意度开关”，机器人的回复才会允许用户进行评价。

1 以Web-SDK为例，进入到“渠道设置-Web SDK-功能设置”界面

2 打开“问答满意度收集”开关

开启后，每当机器人回复用户时，用户都可以对回复内容进行评价。评价可以选择“满意”、“内容不满意”、“回答不匹配”，如下图所示。

受渠道限制，部分渠道不支持问答满意度，具体以渠道支持为主，开放平台可以通过接口对接问答满意度功能。

查询知识点满意度

当有用户在线上做出评价后，评价结果在“知识点满意度”中进行查看。

知识库中的每个知识点都会在列表中，可以分别按照“点赞”、“不满意”、“内容不匹配”和“召回数”进行排序，来快速找到用户集中评价的知识点。

9.6.2任务信息收集

通过[词槽记录单元]从词槽收集到数据后，需要将他们保存成一个包含各个词槽等信息的汇总表格。

比如在“报名流程”中，收集到了参加活动的人员情况，你希望可以看到自己收集到的数据，并且下载进行进一步的分析。

可以查看任务信息收集页面，它将所有收集到的数据列出，并提供下载。

下文将介绍 任务信息收集页面 相关的基本操作。

1 任务信息收集页面在吾来机器人平台的“数据分析-用户反馈-任务信息收集”页面中，它用表格的形式记录了词槽记录单元记录的词槽数据，可以根据需要来筛选“机器人、意图、单元名、时间段（数据保留90天）”进行查看。

2 对应下图的[词槽记录单元]配置：这里的词槽记录单元收集到了用户的“姓名、城市、信息渠道、微信号、性别、年龄、手机号”。

3 词槽记录单元收集到的这些数据将会被对应地收集到任务信息收集页面。

4 点击 导出数据 按钮，可以将收集到的信息导出为Excel表格。

9.7用户分析

当你的机器人上线，并每天都与用户发生会话。你可能想要查看这些用户的基本信息。比如他第一次与机器人对话是什么时间，他是从什么渠道进来的，甚至是这个用户至今都和机器人聊过什么。

系统提供的“用户分析”功能，让你可以：

• 查询用户的基本信息
• 查询用户至今为止与机器人的所有会话记录
• 将用户接入至IM（即时沟通），人工与用户对话

查询用户基本信息

进入至“用户分析”页面后，你可以直接点击用户头像，系统会显示该用户的基本信息。

查询所有会话记录

点击“查看消息记录”，系统会显示至今为止该用户与机器人的所有会话记录。

接入用户

点击“接入用户”，会将该用户直接接入至“即时沟通”，进而让客服人员取代机器人与该用户对话。